其他
陆奇最新演讲实录:我的大模型世界观
The following article is from 腾讯科技 Author 张小珺
“信息”系统(subsystem of information),从环境当中获得信息; “模型”系统(subsystem of model),对信息做一种表达,进行推理和规划; “行动”系统(subsystem of action),我们最终和环境做交互,达到人类想达到的目的。
认知模型,我们能看、能听、能思考、能规划; 任务模型,我们能爬楼梯、搬椅子剥鸡蛋; 领域模型,我们有些人是医生,有些人是律师,有些人是码农。
OpenAI一路走下来的关键技术: GPT-1是第一次使用预训练方法来实现高效语言理解的训练; GPT-2主要采用了迁移学习技术,能在多种任务中高效应用预训练信息,并进一步提高语言理解能力; DALL·E是走到另外一个模态; GPT-3主要注重泛化能力,few-shot(小样本)的泛化; GPT-3.5 instruction following(指令遵循)和tuning(微调)是最大突破; GPT-4 已经开始实现工程化。 2023年3月的Plugin是生态化。
世界在哗哗哗地变。我曾经说1995-1996年有这种感觉,但这个比1995-1996年还要强。为什么?模型的成本从边际转向固定,知识创造就是模型和知识的获取,它结构性做演变了。